java在ElasticSearch中插入条目的最佳方式是什么？

Question

我是ElasticSearch的新手，我有一个180个字段和1200万行的文件。我在ElasticSearch和Java程序中创建了一个索引和类型，但需要1.5小时。有没有其他最佳方法可以缩短时间将数据加载到ElasticSearch中。我尝试过一个map reduce程序，但有时它会失败，并生成重复的条目，并且比我的顺序程序花费的时间更多

谁能提出好的建议

Answer 1

使用ES hadoop插件时，可以禁用推测执行，以避免重复条目。使用map reduce索引数据时，请尝试微调批量api的批量大小。 有关更多信息，请参阅：-https://www.elastic.co/guide/en/elasticsearch/hadoop/current/configuration.html，并尝试更改默认值以获得最佳性能。还可以尝试增加ES堆的大小。您还可以使用ApacheTika或ES的mapper attachments插件从文件中提取信息

希望有帮助